Ông là hậu duệ của Đại phu Khuất Đáo nước Sở đời Đông Chu. Khi Lưu Dụ đánh dẹp Tôn Ân, nhờ là đồng hương nên được đi theo, trận nào cũng lập chiến công.

Bọn Lưu Dụ sắp khởi binh chống Hoàn Huyền, nhà Ngạn Chi ở Quảng Lăng, vào lúc sắp lên đường, nghe tin Lưu Đạo Quy đã giết được Hoàn Hoằng ở đó, nhanh chóng quay về, thì Đạo Quy đã vượt sông sang bờ nam. Ông vội vã tìm cách vượt sông, đến được Kinh Khẩu, thì gặp Mạnh Sưởng lưu thủ tại đây, còn Lưu Dụ đã đi Kiến Nghiệp, Sưởng giữ Ngạn Chi ở lại. Khi gặp Lưu Dụ, ông bị trách mắng, không thể tự giải thích, mà Sưởng lại không nói giúp, nên không được gia quan chức.

Năm Nghĩa Hi đầu tiên (405), được bổ làm Trấn quân Hành tham quân. Năm thứ 6 (410), Lư Tuần bức đến kinh thành, Ngạn Chi cùng Đàn Đạo Tế đánh úp quân nhu của nghĩa quân, bị tướng nghĩa quân là Tuân Lâm đánh bại, miễn quan. Sau nhờ quân công được phong Ngận Sơn huyện tử, làm Thái úy Trung binh tham quân. Phiếu kỵ tướng quân Lưu Đạo Liên trấn Giang Lăng, dùng Ngạn Chi làm Phiếu kỵ Tư nghị tham quân, sau đó thăng làm Tư mã, Nam Quận thái thú. Lại theo Lưu Nghĩa Long trấn Bành Thành, được ban chức Sứ trì tiết, Nam Man hiệu úy. Lưu Dụ lên ngôi, là Lưu Tống Vũ đế, được tiến tước làm hầu.